#############################################################################
# 本脚本展示使用Transformer模型训练一个NLP的模型, 代码参考如下连接:
# https://github.com/mochan-b/pytorch-tutorial1/blob/main/transformer_train.py
#
# 
#                                                       Author： Xian Yang
#                                                     Date Time： 2023.11.26
##############################################################################

import math
import torch
import torch.nn     as nn
from   torchsummary import summary
from   torch.nn     import TransformerEncoder, TransformerEncoderLayer